DARTS: Decoder-Aware Representation Tuning via Surgery for Model Merging
DARTS：面向模型合并的解码器感知表征手术调优
🧭 模型合并 · 解码器表征偏差校正
ServiceNow · University of Twente
提出熵加权 L1 与逐位置偏置，解决解码器模型合并后的表征偏差累积问题
📌 工作参考价值（4 点）
- 多任务 LLM 合并部署：如果有商品标题生成、广告文案、搜索 Query 改写等多个 FT/LoRA 模型，DARTS 提供后训练校正路径：合并后用极小参数（0.1%）的逐位置偏置修正 hidden states，避免逐任务部署，降低线上 GPU/显存成本。
- 熵加权对齐思路：在蒸馏、对齐或模型合并时，不要对所有 token 同等对待；对高熵（决策临界）位置加大 L1 回归权重，更直接影响生成质量，可迁移到生成式推荐/文案生成的 loss 设计与难例挖掘。
- 位置相关偏置比线性投影更省参且低延迟：因果 mask 下偏差沿 token 位置累积，用 per-position additive bias 捕捉位置误差，serving 时只是 elementwise add，适合低延迟推理。
- 注意合并模型通常仍弱于任务独立模型，适合对延迟/显存敏感、质量可接受权衡的场景；上线前用业务集做 A/B 验证。